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Verfahren zur Erkennung von Abweichungen der Oberflachenform von einer 
vorgegebenen Form 

Die Erfihdung betriflft ein Verfahren zur Erkennung von Fehlern der Oberflachenform 
eines Objektes, bei dem die durch eine digitale Kamera aufgenommenen Bilddaten der 
Oberflache des zu priifenden Objektes, nachfolgend als Priifobjekt bezeichnet, mittels 
eines kiinstlichen neuronalen Netzes dahingehend modifiziert werden, dass digitale 
Bilddaten erzeugt werden, die von der digitalen Kamera vom Priifobjekt erzeugt werden 
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konnten, wenn es keine Oberflachenfehler hatte, virtuelles Masterteil. Das Masterteil 
entspricht somit einer vorgegebenen Form. Durch Vergleich der Originalbilddaten mit den 
kunstlich erzeugten Bilddaten konnen die Fehlstellen der Oberflache detektiert werden. 
Die Erfindung ist bevorzugt fur solche MeBaufgaben einsetzbar, bei denen die Fehler im 
Vergleich zur GroBe des Prufobjektes sehr klein sind und das Prtifobjekt z. B. aus 
Grunden der Aufwandssenkung nur mit geringerer Genauigkeit in der MeBposition justiert 
werden kann. Derartige MeBaufgaben bestehen z.B. bei der Uberwachung der Fertigung 
groBflachiger tiefgezogener Blechteile. 

Es ist ein Verfahren nach der DE 197 53 620.4 C 1 bekannt, bei dem 3D-MeBdaten der 
Oberflache des zu prufenden Objektes mittels eines ktinstlichen neuronalen Netzes 
dahingehend modifiziert werden, dass 3D-MeBdaten erzeugt werden, die von dem 
Prtifobjekt stammen konnten, wenn es keine Oberflachenfehler hatte, virtuelles Masterteil. 
Durch Vergleich der Original-3D-MeBdaten mit den kunstlich erzeugten 3D-MeBdateh 
konnen die Fehlstellen in der Oberflache detektiert werden. 

Nachteilig ist dabei, dass zur Detektierung von Fehlstellen in der Oberflachenform ' 
3D-Daten bestimmt werden mussen, die explizit die Oberflachenform charakterisieren. 
Diese 3D-Daten werden haufig aus digitalen Bilddaten berechnet, die ebenfalls die 
Oberflachenform inclusive der Fehlstellen charakterisieren, allerdings implizit. Zur 
Detektion der Fehlstellen reicht aber bereits diese Form der Oberflachencharakteristik. 

Der Aufwand zur Erzeugung der 3D-MeBdaten der Oberflache des Prufobjektes ist in der 
Regel hoher als der Aufwand zur Aufhahme von Bilddaten. Haufig werden die 3D-Daten 
aus ahnlichen oder denselben Bildern berechnet, die bei der Erfindung direkt verwendet 
werden. 

Zur Berechnung der 3D-Daten aus digitalen Bildern sind folgende Verfahren besonders 
gut geeignet: Verfahren nach DE 196 23 172 C 1 ; Phasenshiftverfahren aus den Bildern 



zweier Kameras; Phasenshiftverfahren unter Verwendung von einer Kamera und einem 
Projektor. 

Eine wichtige Voraussetzung bei der Berechnung von 3D-Daten mit einem der genannten 
Verfahren ist eine exakte Kalibrierung der beiden Kameras bzw. der Kamera und des 
Projektors beim Phasenshiftverfahren mit nur einer Kamera. Hierfur wird zusatzliche 
Software benotigt. Fehler bei der Kalibrierung fiihren auBerdem in der Regel zu 
Verfalschungen der 3D-Daten. 

Im Vergleich zu den Verfahren mit zwei Kameras wird zudem noch eine Kamera 
eingespart. 

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren anzugeben, bei dem der Einfluss 
der Justierunterschiede sowie tolerierbarer Formvariationen des Priifobjektes auf das 
Priifungsergebnis weitgehend oder vollstandig beseitigt wird, so da!3 mit geringem 
Justieraufwand unter Anwendung eines neuronalen Netzes auch kleine Fehler ohne 
explizite Berechnung von 3D-Daten des Priifobjektes automatisch detektierbar sind. 
Typische Justierunterschiede und typische, tolerierbare Formvariationen sind dabei groBer 
als die zu detektierenden Fehler. 

ErfindungsgemaB wird die Aufgabe mit den kennzeichnenden Merknialen des Anspruchs 1 
gelost. Vorteilhafte Weiterbildungen ergeben sich aus den Unteranspriichen. 

So sind mit geringem Justieraufwand auch kleine Fehler ohne explizite Berechnung von 
3D-Daten des Priifobjektes unter Anwendung eines neuronalen Netzes automatisch 
detektierbar. Typische Justierunterschiede und typische, tolerierbare Formvariationen sind 
dabei groBer als die zu detektierenden Fehler. 



Das vorgestellte Verfahren zur Erkennung von Abweichungen der Oberflachenform von 
einer vorgegebenen Form ist durch eine Messwerterfassung und eine nachfolgende Verar- 
beitung in einem kiinstlichen neuronalen Netz charakterisiert, in dem das Muster auf eine 
Objektoberflache projiziert und Bilder mit Matrixkamera aufgenommen werden, wobei die 
Matrixkamera in an sich bekannter Weise einen Satz von n zeitlich aufeinanderfolenden 
Bildern erzeugt, wobei zwischen den Bildaufhahmen das projizierte Muster um 
vorgegebene Werte verschoben und/oder gedreht und/oder die Struktur des Musters 
verandert wird. Dabei werden bei den je n Grauwerten, einer Grauwertfolge, die einzelnen 
Pixel der von der Matrixkamera aufgenommenen N Bilder eine oder weinige <n Zahlen 
bestimmt, die charakteristisch fur die Grauwertfolge des jeweiligen Pixels ist/sind oder fur 
die Grauwertfolge des Pixels in Relation zu einer Grauwertfolge oder mehreren Grauwert- 
folgen anderer Pixel, wobei nach Eingabe der aufgenommenen Bilddaten oder der Matrix 
der aus den Bilddaten ermittelten charakteristischen Zahlen des Prtifobjektes in das neuro- 
nale Netz eines Recalls des neuronalen Netzes erfolgt, wobei als signifikante Daten fur die 
Fehler des Prtifobjektes der Vergleich zwischen den Bilddaten oder der Matrix der aus 
den Bilddaten ermittelten charakterischen Zahlen des Prtifobjektes und den Recalldaten 
des neuronalen Netzes verwendet werden. 

Mit nachfolgendem Ausfuhrungsbeispiel wird die Erfindung naher erlautert. 

Das grundsatzliche Problem bei der Bewertung eines Prtifteils bezuglich Fehlstellen in der 
Oberflachenform liegt in folgendem: 

Es handelt sich in der Regel um industriell gefertigte Objekte, deren Formen 
produktionstechnisch bedingt variieren. Es liegen mathematische Beschreibungen der 
Oberflache, z.B. CAD-Modelle, oder eine Reihe Masterteile vor, die als fehlerfrei 
befunden wurden. Neben den Formunterschieden variiert ebenfalls die Positionierung. Aus 
diesem Grund ist es nicht moglich, durch eine einfache Differenzbildung zwischen den 
Daten des Prtifteils und denen des entsprechenden Masterteiles die Fehlstellen zu 
extrahieren, da letztere Daten nicht vorliegen. Hauptbestandteil der Erfindung ist es, aus 
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den Daten des Priifteiles Daten des entsprechenden virtuellen Masterteiles zu berechnen 
(ein Teil ohne Fehler aber in gleicher Position, globaler Verformung und Ausfuhrung wie 
das Priifteil). 

Dies erfolgt in der Recallphase eines kiinstlichen neuronalen Netzes. Ein fur die 
erfindungsgemaBe Aufgabe besonders geeignetes kunstliches neuronales Netz ist ein 
modifizierter Assoziativspeicher entsprechend DE 197 53 620 C 1. Seine aufgaben- 
spezifische Konfiguration erhalt er in einer Trainingsphase. 

Zur Recallphase: 

Der Algorithmus zur Extraktion der Fehlstellen beginnt zunachst mit der Aufnahme von 
') Bildern von der zu bewertenden Oberflache, des Prtifteils, mit einer digitalen Kamera mit 
dem Ziel, dass in ihnen (implizite) 3D-Informationen der Oberflache enthalten sind- 

Hierzu werden unterstiitzend mit einem Projektor Muster auf die Oberflache projiziert. 
Dabei werden nacheinander mehrere n unterschiedliche Muster projiziert und n Bilder 
aufgenommen. Dies ist eine gunstige Vorgehensweise, um die Informationsmenge zu 
erhohen. Die n Muster sind in der Regel Streifenmuster, die um den n-ten Teil der 
Streifenperiode verschoben werden. Moglich sind auch vollig andere, z.B. stochastische 
Muster, die sich untereinander in Form oder Lage unterscheiden. 

In Regel ist es sinnvoll, die Helligkeitswerte der aufgenommenen Bilder zu normieren, da 
zwischen den verschiedenen Messungen die Lichtverhaltnisse variieren konnen durch z.B. 
< Helligkeitsanderungen des Projektors oder anderen Reflexionseigenschaften der zu 
vermessenden Teile. Eine typische Moglichkeit zur Helligkeitsnormierung der Bilder 
besteht in der Verwendung eines sogenannten Dunkel- und eines Hellbildes. Hierzu wird 
durch den Projektor ein vollig helles Muster projiziert und ein weiteres, bei dem die 
Lampe zwar leuchtet, aber der Projektionsweg auf die iibliche, maximale Weise 
abgedunkelt wird, als wurden ausschliefilich „schwarze" Streifen projiziert werden. Fur 
jedes Pixel liegt dann somit ein unterer und ein oberer Helligkeitswert vor, auf die die 
Grauwerte aller Pixel aus den n aufgenommenen Bildern in an sich bekannter Weise 
normiert werden, z.B. in Relation zur Differenz aus dem oberen und dem unteren 



Helligkeitswert. In der weiteren Beschreibung soli der Begriff ,JBilder" auch die auf diese 
oder ahnliche Weise normierten Bilder umfassen. 

Durch die zu bewertende Oberflache erfolgt eine raumliche Verformung der Muster. 
Somit enthalten die aufgenommenen Bilder implizite 3D-Informationen iiber die 
Oberflache. Dabei ist wesentliche Voraussetzung, dass die Kamera aus einer anderen 
Richtung Bilder aufhimmt als der Projektor Muster projiziert.Aus diesen Informationen 
werden in den Folgeschritten dann die Fehlstellen extrahiert. 

Zunachst gibt es das Problem der hohen Informationsmenge: Es liegen n Bilder der 
Oberflache vor. Daraus folgt, dass pro Pixel n Grauwerte und somit eine Grauwertfolge 
vorliegt. Diese hohe Informationsmenge konnte zu Schwierigkeiten bei der Bearbeitung 
durch den Assoziativspeicher fuhren. 

Aus diesem Grund erscheint es sinnvoll, die Informationsmenge zu reduzieren. Hierzu 
wird die Grauwertfolge eines Pixels in auf eine charakteristische Zahl abgebildet. Dafur 
gibt es folgende Moglichkeiten: 

So muss bei einer Moglichkeit zunachst gewahrleistet werden, dass n Streifenmuster mit 
nahezu sinusfdrmigem Helligkeitsverlauf, senkrecht zu den Streifen projiziert werden. 
Diese Muster haben die gleiche Form untereinander, sind aber um jeweils den n-ten Teil 
der Periode verschoben. Nun kann man bekannte Methoden des sogenannten 
Phasenshiftverfahrens verwenden: 

Fur jedes Pixel liegt im Ergebnis spezieller Berechnungen ein Phasenwert vor. Dieser ist 
ein Mass fur die Position auf einem der Sinusmuster in Bezug zum Nulldurchgang der 
Sinusfunktion. Der Phasenwert ist eine charakteristische Zahl fur die gesamte 
Grauwertfolge des Pixels. 

Bei einer anderen Moglichkeit zur Berechnung einer charakteristischen Zahl wird die 
Ahnlichkeit der Grauwertfolge des ausgewahlten Pixels zur Grauwertfolge eines 
Nachbarpixels bestimmt. 
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Diese charakteristische Zahl ist dann z.B. der Kreuzkorrelationskoeffizient zwischen den 
beiden Grauwertfolgen. Zur Anwendung dieser Methode auf das ganze Bild werden z.B. 
jeweils die linken oder die der rechten Nachbarn der Pixel verwendet. Auf diese Weise 
werden flir das gesamte Bild, auBer einer Randspalte, oder -zeile, Kreuzkorrelations- 
koeffizienten bestimmt. Diese werden von der 3D-Form der Oberflache modulien. 

Die beschriebenen Moglichkeiten der Reduzierung der Informationsmenge sind auf die 
angegebenen Moglichkeiten nicht beschrankt, sondern auch andere Verfahrensweisen 
konnen angewendet werden. 

Fur die Art der vom Assoziativspeicher zu bearbeitenden Daten gibt es insgesamt folgende 
Moglichkeiten. 

Als Eingangsdaten werden eine der beschriebenen Matrizen der charakteristischen Zahlen 
verwendet: Pro Pixel ein Phasenwert, ein Korrelationswert oder eine andere geeignete 
charakteristische Zahl oder aber die Grauwerte der n Bilder dienen als Eingangsdatensatze 
fur je einen Assoziativspeicher. Somit miissen n verschieden konfigurierte Assoziativ- 
speicher verwendet werden, oder aber alle Grauwerte der n Bilder sind Eingangsdaten fur 
einen einzigen Assoziativspeicher. Das bedeutet aber, dass dieser Assoziativspeicher sehr 
viel komplexer sein musste als im vorhergehenden Fall, da pro Pixel nun n relevante 
Informationen, Grauwerte, vorliegen. 

Jede dieser beschriebenen Matrizen beschreibt implizit die 3D-Form der zu prufenden 
Oberflache. Durch den Assoziativspeicher wird nun die entsprechende Matrix auf folgende 
An modifiziert: Es wird eine Matrix erzeugt, die von dem Prufteil stammen konnte, wenn 
es keine Fehlstellen der Oberflachenform enthalten wiirde. Es hat die gleiche Form und die 
gleiche Lage wie das Prufteil und wird als virtuelles Masterteil bezeichnet. 

Nun muss lediglich die Differenz der beiden Matrizen gebildet werden. In der 
Ergebnismatrix liegen die Fehlstellen vor, die allerdings vom Messrauschen uberlagert 
sind. Fehlstellen, die groGer als das Messrauschen sind konnen somit durch einfache 
Schwellwertbildung extrahiert werden. 
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Fur diese Fehlstellen kann dann in an sich bekannter Weise die Position auf der Oberflache 
bzw. die 3D-Koordinaten berechnet werden. 

Zur Trainingsphase: 

In dieser Phase erfolgt die spezielle auf die Messobjekte bezogene Konfiguration des 
Assoziativspeichers. 

Das „Training" wird mit Hilfe der, impliziten, 3D-Daten von fehlerfreien Masterteilen 
durchgefuhrt. Diese Daten mussen dergleichen Art sein wie die in der Recallphase, 
namlich Grauwerte oder charakteristische Zahlen der Grauwertfolgen. Durch das Training 
werden die Gewichtsfaktoren eingestellt bzw. abgestimmt. 

Bei giinstig abgestimmten Gewichten/Wichtungsfaktoren ist der Assoziativspeicher in der 
Lage, aus den Daten eines Priifteiles die Daten des zugehorigen virtuellen Masterteils zu 
erzeugen 
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Patentanspriiche 

1. Verfahren zur Erkennung von Abweichungen der Oberflachenform von einer 
vorgegebenen Form durch eine Messwerterfassung und eine nachfolgende 
Verarbeitung mit einem kunstlichen neuronalen Netz, dadurch gekennzeichnet, 
dass 

- Muster auf die Objektoberflache projiziert und Bilder mit einer Matrixkamera 

aufgenommen werden, wobei 

- die Matrixkamera in an sich bekannter Weise einen Satz von n zeitlich 

aufeinanderfolgenden Bildern erzeugt, wobei zwischen den Bildaufnahmen 

i, 

das projizierte Muster um vorgegebene Werte verschoben und/oder gedreht 
\ und/oder die Struktur des Musters verandert wird, 

\ - aus den je n Grauwerten, einer Grauwertfolge, der einzelnen Pixel der von der 
Matrixkamera aufgenommenen n Bilder eine Zahl oder wenige <n Zahleri 
bestimmt wird/werden, die charakteristisch fur die Grauwertfolge des 
jeweiligen Pixels ist/sind oder fur die Grauwertfolge des Pixels in Relation zu 
einer Grauwertfolge oder mehreren Grauwertfolgen anderer Pixel 

- nach Eingabe der aufgenommenen Bilddaten oder der Matrix der aus den 

Bilddaten ermittelten charakteristischen Zahlen des Prufobjektes in das 
neuronale Netz ein Recall des neuronalen Netzes erfolgt 

- als signifikante Daten fur die Fehler des Prufobjektes der Vergleich 

zwischen den Bilddaten oder der Matrix der aus den Bilddaten ermittelten 
charakteristischen Zahlen des Prufobjektes und den Recalldaten des 
neuronalen Netzes verwendet wird. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Helligkeiten der 

n zeitlich aufeinanderfolgend erzeugten Bildern in an sich bekannter Weise 
normiert werden. 
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3. Verfahren nach einem der Anspriiche 1 oder 2, dadurch gekennzeichnet, dass 

der Vergleich zwischen den Bilddaten oder der Matrix der aus den Bilddaten 
ermittelten charakteristischen Zahlen des Priifobjektes und den Recalldaten 
des neuronalen Netzes eine Differenzbildung ist. 

4. Verfahren nach einem der Anspriiche 1-3, dadurch gekennzeichnet, dass 
die projizierten Muster eine streifenformige Struktur aufweisen. 

5. Verfahren nach einem der Anspriiche 1-4 dadurch gekennzeichnet, dass 

die projizierten Muster eine streifenformige Struktur gleicher Breite mit 
sinusfbrmigem Helligkeitsverlauf senkrecht zu den Streifen aufweisen und die 
Muster zueinander verschoben sind mit einem Abstand des n-ten Teils der 
Streifenperiode. 

6. Verfahren nach Anspruch 5 dadurch gekennzeichnet, dass fur jedes Pixel des 

Sensors der Matrixkamera aus den zugehorigen Grauwerten in an sich 
bekannter Weise ein Phasenwert, Phasenshiftverfahren, berechnet wird und 
die so gewonnene Matrix als Eingangsdatei fur das kiinstliche neuronale Netz 
verwendet wird. 

7. Verfahren nach einem der Anspriiche 1-5 dadurch gekennzeichnet, dass fur 

jedes Pixel des Sensors der Matrixkamera ein Ahnlichkeitsmass zwischen den 
Grauwerten des ausgewahlten Pixels und den Grauwerten eines anderen Pixels 
mit einem festgelegten Abstand zum ausgewahlten Pixel bestimmt wird und 
die so gewonnene Matrix als Eingangsdatei fur das kiinstliche neuronale Netz 
verwendet wird. 



8. Verfahren nach einem der Anspriiche 1-5 oder 7 dadurch gekennzeichnet, 

dass fur jedes Pixel des Sensors der Matrixkamera ein Ahnlichkeitsmass 
zwischen den Grauwerten des ausgewahlten Pixels und den Grauwerten eines 
benachbarten Pixels wird und die so gewonnene Matrix als Eingangsdatei fur 
das kunstliche neuronale Netz verwendet wird. 

9 Verfahren nach einem der Anspaiche 7 oder 8 dadurch gekennzeichnet, dass 
als Ahnlichkeitsmass der Kreuzkorreltaionskoeffizient verwendet wird. 

10. Verfahren nach einem der Anspriiche 7 oder 8 dadurch gekennzeichnet, dass 
als Ahnlichkeitsmass der die Summe der Fehlerquadrate verwendet wird-. 

1 1. Verfahren nach einem der Anspriiche 1-10, dadurch gekennzeichnet, dass das 
neuronale Netz aus drei linearen Schichten besteht. 

12. Verfahren nach einem der Anspriiche 1-11, dadurch gekennzeichnet, dass 
die Hiddenschicht nur soviel Neuronen enthalt, wie fur die wesentliche 
Rekonstruktion aller Variationen in Lage und Form eines oder mehrerer 
Masterteile erforderlich sind. 

13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass 

die Gewichte des Netzes den Eigenvektoren der Covarianzmatrix der Bilddaten 
oder der charakteristischen Zahlen eines oder mehrerer Masterteile geordnet 
nach der GroBe der Eigenwerte entsprechen. 
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14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die Berechnung 

der Gewichte entweder durch Bildung der Covarianzmatrix und nachfolgende 
Berechnung der Eigenvektoren oder durch ein geeignetes Lernverfahern (z. B. 
die Hebbsche Lernregel) erfolgt. 

15. Verfahren nach einem der Anspruche 1-14, dadurch gekennzeichnet, dass der 

Recall durch einen Neurocomputer oder eine fur diese Aufgabe entworfene 
Schaltung realisiert wird. 

16. Verfahren nach einem der Anspruche 1-15, dadurch gekennzeichnet, daB von 

den Priifobjekten und Masterteilen nur bestimmte vorgegebene Bilddaten oder 
charakteristische Zahlen verwendet werden. 

17. Verfahren nach einem der Anspruche 1-16, dadurch gekennzeichnet, dass die.. - 

Vergleichsdaten zwischen den Eingangsdaten des kunstlichen neuronalen 
Netzes und den Recalldaten durch geeignete Glattungsfilter geglattet wird, urn 
den Einfluss von Storungen in einzelnen Pixeln in den durch die 
Matrixkameras aufgenommene Bildern zu reduzieren. 
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Zusammenfassung 

Verfahren zur Erkennung von Abweichungen der Oberflachenform von einer 
vorgegebenen Form 

Die Erfindung betrifft ein Verfahren zur Erkennung von Abweichungen der 
Oberflachenform von einer vorgegebenen Form durch eine Messwerterfassung und eine 
nachfolgende Verarbeitung in einem kunstlichen neuronalen Netz, bei dem Muster auf 
die Objektoberfiache projiziert und Bilder mit einer Matrixkamera aufgenommen 
werden, die Matrixkamera einen Satz von n zeitlich aufeinanderfolgenden Bildern aus 
den Grauwerten eine oder wenige Zahlen bestimmt werden, nach der Eingabe der 
aufgenommenen Bilddaten oder der Matrix der aus den Bilddaten ermittelten charakteri- i 
stischen Zahlen des Priifobjektes in das neuronale Netz ein Recall des neuronalen Netzes a 
erfolgt und ein Vergleich zwischen den Bilddaten oder der Matrix der aus den Bilddaten " 1 

ermittelten Zahlen des Priifobjektes und den Recalldaten des neuronalen Netzes 
verwendet werden. 



